01
vLLM与GPU资源概述
vLLM是什么、为什么需要GPU资源管理、vLLM在K8s中的价值。
概念入门
02
K8s GPU基础概念
Node与GPU拓扑、Device Plugin机制、GPU Operator介绍。
K8sGPU
03
NVIDIA GPU Operator部署
Operator架构、安装步骤、验证GPU节点可用性。
部署NVIDIA
04
vLLM镜像构建与优化
Dockerfile编写、CUDA版本选择、vLLM依赖优化。
镜像优化
05
K8s Pod与GPU资源声明
resources.limits配置、nvidia.com/gpu使用、多GPU分配。
Pod资源
06
vLLM Deployment部署实战
YAML编写、环境变量配置、启动参数调优。
部署YAML
07
Service与Ingress暴露
ClusterIP、NodePort、Ingress配置、负载均衡策略。
网络Ingress
08
ConfigMap与Secret管理
模型路径配置、API密钥管理、环境变量注入。
配置安全
09
持久化存储与模型加载
PVC/PV配置、NFS挂载、模型预热策略。
存储模型
10
vLLM性能监控与Metrics
Prometheus集成、GPU利用率监控、请求延迟分析。
监控性能
11
HPA自动扩缩容
基于GPU利用率的HPA、基于请求QPS的HPA、自定义Metrics。
弹性HPA
12
GPU共享与MIG配置
MIG概念、vGPU方案、vLLM多实例部署。
共享MIG
13
节点池与GPU调度
节点亲和性、taint/toleration、GPU拓扑感知调度。
调度节点
14
vLLM多模型管理
多Deployment部署、模型版本控制、蓝绿发布。
多模型发布
15
资源配额与LimitRange
Namespace资源配额、GPU配额限制、优先级调度。
配额管理
16
日志收集与ELK集成
容器日志采集、结构化日志、vLLM日志分析。
日志ELK
17
故障排查与诊断
Pod启动失败排查、GPU不可用诊断、OOM问题处理。
排障诊断
18
安全与RBAC
ServiceAccount配置、RBAC权限控制、Pod安全策略。
安全RBAC
19
网络策略与隔离
NetworkPolicy配置、跨命名空间通信、GPU节点隔离。
网络隔离
20
vLLM API网关集成
Kong/APISIX配置、限流、认证、路由。
网关API
21
CI/CD流水线集成
GitOps实践、Helm Chart打包、自动部署vLLM。
CI/CDGitOps
22
多集群GPU资源管理
Karmada/Federation、跨集群调度、GPU资源池化。
多集群联邦
23
成本优化与Spot实例
Spot节点策略、GPU竞价实例、中断处理。
成本Spot
24
vLLM版本升级策略
滚动更新、金丝雀发布、回滚机制。
升级发布
25
GPU内存与显存管理
vLLM内存配置、KV Cache优化、显存碎片处理。
内存显存
26
大规模推理集群设计
架构设计、负载均衡、容错机制。
架构大规模
27
vLLM与Ray集成
Ray集群部署、分布式推理、资源协同。
Ray分布式
28
GPU监控告警体系
Alertmanager配置、告警规则、通知渠道。
告警监控
29
合规与审计
GPU使用审计、资源计费、操作日志。
合规审计
30
实战案例与最佳实践
企业级部署案例、性能调优总结、常见问题FAQ。
实战最佳实践